Nguồn gốc cổ xưa nhất về nhóm người này lại không phải các di dân Hoa Bắc tị nạn xuống phương nam sau công nguyên, mà lại là những người thuộc văn minh Trường Giang (cụ thể là khu vực sông Cám), đã mang văn minh trồng lúa nước đến phía Nam sông Hoàng Hà (nhiều nhất là vùng Sơn Tây và Hà Nam) từ khoảng 7000 TCN. tạo nên văn hóa Bùi Lí Cương và văn hóa Giả Hồ. Họ là những người Bách Việt đã hình thành các cộng đồng làng xã, sống định cư, đồng thời hòa huyết với các tộc người Đông Di ở miền bắc Hoàng Hà và người Turk đến từ phía tây sa mạc Gobi, hoặc xa hơn nữa là từ Trung Á. Có thể nói người Khách Gia là giống người đa sắc tộc và văn hóa, trên cơ sở đặt văn hóa lúa nước và làng xã làm trung tâm.

Thời Đông Chu, người Khách Gia đã phát triển và sinh sống ở nhiều địa phương thuộc lưu vực sông Hoàng Hà. Đến thế kỷ thứ 3 Công Nguyên, họ sinh sống tập trung ở hai tỉnh Sơn Tây và Hà Nam. Sau đó, do biến loạn, họ có 5 đợt di cư lớn, dần dần chuyển dịch xuống miền Trung và cuối cùng là sinh sống ở miền Nam Trung Quốc.

1. Vào niên hiệu Vĩnh Gia thứ 5 (năm 311) thời Tây Tấn, do tỵ nạn Ngũ Hồ chiến loạn (Hung Nô, Tiên Ti, Yết, Đê, Khương), người Khách gia bắt đầu di cư xuống miền Nam. Từ lưu vực sông Hoàng Hà, họ chuyển xuống sinh sống ở hai bên bờ Nam và Bắc Trường Giang. Tập trung nhiều nhất là ở hai tỉnh An Huy và Giang Tây. Tại Giang Tây, người Khách gia đã dung hợp nền văn hóa cổ của họ ở phương Bắc với văn hóa Mân Việt để hình thành một nét sinh hoạt và văn hóa đặc thù trong lòng dân tộc Hán.

2. Cuối thời nhà Đường, do cuộc nổi loạn của An Lộc Sơn, Sử Tư Minh và Hoàng Sào, người Khách gia lại tiếp tục di chuyển xuống miền Nam. Lúc này, những người Khách gia còn sinh sống ở Hà Nam cùng với những người Khách gia ở An Huy đã dời về miền Trung và Nam của tỉnh Giang Tây. Những người đang ở Giang Tây thì chuyển về ở tại vùng đất phía Tây tỉnh Phúc Kiến.

3. Đợt di cư thứ ba là vào thời Nam Tống. Do sự xâm nhập của quân Kim và Nguyên vào Trung nguyên, người Khách gia lại tràn xuống miền Nam tỉnh Phúc Kiến và cả vùng đất phía Bắc cũng như Đông Bắc tỉnh Quảng Đông. Một số ít tìm đến Quý Châu để sinh sống.

4. Lúc nhà Thanh vừa xâm chiếm Trung Quốc, người Khách gia lại có đợt di chuyển thứ tư. Một bộ phận người Khách gia trở ngược lên cư trú ở vùng Hồ Nam, Hồ Bắc và Tứ Xuyên. Một số khác đang sinh sống ở vùng biển của tỉnh Phúc Kiến và Sán Đầu (thuộc tỉnh Quảng Đông), đã vượt biển đến phía Nam đảo Đài Loan. Sau đó họ dần dần phát triển lên miền Trung và miền Bắc của Đài Loan. Một số ít đã sang Việt Nam sinh sống. Ngoài ra, vào năm 1777, người Khách gia tên La Phương Bá đã đi đến miền Tây Nam Borneo để khai khẩn và xây dựng một địa phương tự trị theo thể chế cộng hòa. Hơn một trăm năm sau, miền đất này bị người Hà Lan thôn tính.

5. Đợt di cư thứ năm và cũng là cuối cùng của người Khách gia ở vào thời kỳ Đồng Trị nhà Thanh. Sau cuộc khởi nghĩa của Hồng Tú Toàn (Thủ lĩnh Thái Bình Thiên Quốc) bị thất bại, nhiều người Khách gia đã chuyển đến đảo Hải Nam rồi lan ra cư trú khắp đảo.Một số lớn lại chọn phương thức viễn du Hải ngoại. Họ đi đến hầu hết các nước trong vùng Đông Nam Á rồi sang Ấn Độ (Calcutta, New Delhi và Darjeeling), Châu Phi (chủ yếu là ở Nam Phi). Một số khác lại theo thương thuyền đến cư trú ở các quần đảo thuộc Đại Tây Dương và Thái Bình Dương. Tại Châu Âu, họ sinh sống chủ yếu ở nước Anh (Liverpool) và Hà Lan (Hague, Rotterdam). Cuối cùng, người Khách gia cũng có mặt ở Úc (Sydney và Melbourne) và Châu Mỹ (Canada, Mỹ và Honolulu, Cuba, México, Panama, Brasil, Argentina, Peru, Jamaica, Guyana). Đây là thời kỳ xuất dương lớn nhất của người Khách gia Trung Quốc.

Do hoàn cảnh lịch sử cộng với bản tính hiền lành, ghét chiến tranh, người Khách gia đã dần dần dịch chuyển từ miền Bắc Trung Quốc xuống tận miền Nam. Trên bước đường di cư, để phân biệt với người dân địa phương, họ đã khiêm xưng hoặc được người bản địa gọi là Khách gia. Qua hơn 4000 năm lịch sử, người Khách gia vẫn bảo tồn rất nhiều cổ âm phương Bắc trong ngôn ngữ của họ (Trong 8 phương ngôn được sử dụng nhiều nhất ở Trung Quốc, số người sử dụng ngôn ngữ Khách gia đứng hàng thứ năm, chiếm 4% dân số).

Ở Việt Nam, người Khách gia không rõ vì sao mà có tên gọi "người Hẹ". Có thể là những người đầu tiên đến cư trú ở Việt Nam, trong khi tiếp xúc với người bản địa, do cách giải thích không rõ ràng về nguồn gốc (không rành tiếng Việt) hoặc do người Việt nghe không hiểu và không rõ, đã lấy nguồn gốc hình thành từ thời nhà Hạ biến âm thành "Hẹ" (giống như "Xa" biến thành "Xe", "Trà" biến thành "Chè", "Ma" biến thành "Mè", mùa "Hạ" biến thành mùa "Hè"…). Cũng có thể là do cách phát âm chữ "Khách", trong "Khách gia", đọc theo giọng Quảng Đông và Hẹ đều là Hak (âm tiếng Việt đọc là Hat, giọng ngang không dấu) đã biến thành "Hẹ" (giống như người Triều Châu bị biến thành "Tiều").

Có một vấn đề quan trọng không kém. Sau khi nhà Nguyễn ban hành qui chế thành lập các Bang Hoa Kiều, người Hoa sinh sống ở Việt Nam có tất cả là 7 bang: Quảng Triệu (còn gọi là Bang Quảng Đông), Khách gia, Triều Châu, Phước Kiến, Phước Châu, Hải Nam và Quỳnh Châu. Trụ sở của 7 Bang (giống như Văn phòng Đại diện) thường được gọi là "Thất Phủ công sở" hoặc "Thất Phủ hội quán". Sau khi thực dân Pháp chiếm và ổn định Nam kỳ, tháng 1 năm 1885, họ ra lệnh sáp nhập Bang Phước Châu vào trong Bang Phước Kiến; sáp nhập Bang Quỳnh Châu vào trong Bang Hải Nam. Vì vậy mà từ đó về sau, chúng ta chỉ còn nghe nói đến 5 Bang mà thôi.

Ngoài ra, riêng đối với Bang Khách gia ở Việt Nam thì không chỉ có người Hẹ. Theo lệnh của Thực dân Pháp, những người Trung Quốc sinh sống ở Việt Nam nhưng có nguyên quán (Tổ tịch) không thuộc 4 Bang kia, tất cả đều phải chịu sự quản lý của Bang Khách gia. Vì vậy mà trong Bang Khách gia Việt Nam có những người gốc Giang Tô, Thượng Hải, Chiết Giang, Hồ Bắc, Hồ Nam...